Protocolos de comunicación de alto rendimiento (página 2)

Partes: 1, 2

El overhead generado por el sistema operativo y las copias van a suponer una parte importante en el tiempo total de comunicación.
overhead del protocolo
tiempo de transmisión
(Gp:) 10 Mb/s

(Gp:) 100 Mb/s

(Gp:) 1 Gb/s

Lat. paq. corto: 50-60 µs
Lat. switch: 40 µs
Protocolos de comunic.

2. Active Messages (Fast Messages)
Librería de comunicación de baja latencia del proyecto NOW (Berkeley).

Mensajes cortos: síncronos, request/reply
– se crea el mensaje en la memoria de usuario.
– el receptor crea un buffer en memoria de usuario y envía una petición (request).
– el hardware de red envía el mensaje desde la memoria de usuario del emisor a la del receptor.
– No se hacen copias en memoria del sistema: 0 copias.

Protocolos de comunic.

Estándares para clusters
1. VIA: virtual interface architecture
Estándar de comunicaciones que combina las principales ideas desarrolladas en las universidades.
Consorcio de fabricantes: Intel, Compaq, Microsoft…

— antes de enviar un mensaje, se reserva en memoria física, emisor y receptor, sitio para el mensaje.
— las operaciones send/receive consisten en enviar un descriptor del paquete a una cola de proceso de paquetes.
— puede esperarse confirmación o seguir con el trabajo.
VIA

Estándares para clusters
1. VIA: virtual interface architecture
Implementaciones

— nativa: parte del código se carga en el propio interfaz de red.
— emulada: todo el proceso lo ejecuta el procesador del nodo (aunque con menor overhead que TCP/IP).
— no “seguro” (reliable)!
— bajo nivel: usar un interfaz. Por ejemplo, ya hay versiones de MPICH que soportan VIA.
VIA

2. InfiniBand (IBA)
Objetivo: infraestructura de comunicaciones de altas prestaciones, basada en switches (intra) y routers (inter), para formar redes SAN (sustitución del bus compartido)

– Los nodos se conectan mediante adaptadores especiales: HCA (nodos de cómputo) o TCA (nodos auxiliares).
– Los switches interconectan los nodos de la red local, y los routers las redes locales entre sí.
– Los enlaces operan desde 2,5 Gb/s hasta 3,75 GB/s (x12), unidireccionalmente, punto a punto.
– Latencias < 6 µs para mesajes cortos.
InfiniBand

MYRINET

– Infraestructura de comunicaciones de alto rendimiento (pero “cara”).

– Enlaces a 2+2 Gbit/s (full duplex) fibra óptica
Switches en crossbar – red de Clos / cut-through
– Software propio de control de mensajes (GM)
Implementaciones de Gbit ethernet / Via / Infiniband
– Latencias de paquetes pequeños: 1,2 us (Gigabit, 50 us)
Throughput máximo 9,6 Gbit/s
Myrinet

Myrinet

Myrinet

Myrinet

? CUIDADO: si, por ejemplo, utilizamos PCs para formar el cluster, la conexión red/nodo se hará a través del bus PCI.
¡Bien pudiera ser que fuera ese elemento el que limitara la velocidad de comunicación!

PCI ? 32 bit / 33 MHz — 64 bit / 66 MHz
110 – 480 MB/s
PCI-X ? 1 GB/s (2.0 ? 4 GB/s)
PCI Express ? 200 MB/s por canal
(× 32 ? 6,4 GB/s)
Bus del PC